流形增强图嵌入解决多模态推荐互补信号孤岛问题
🧭 多模态推荐 · 互补信号流形增强 ★ 深度解读
Beijing University of Posts and Telecommunications · Key Laboratory of Trustworthy Distributed Computing and Service (BUPT), Ministry of Education · Zhejiang University · Central South University
MAGE框架结合离线流形增强与在线非对称双流GNN，缓解多模态推荐中互补品语义漂移问题
📌 工作参考价值（4 点）
- 离线流形增强（Phase I）可作为 plug-and-play 特征变换，直接替换现有多模态推荐模型的 item 文本 embedding，不改架构即可在 Sports/Clothing 等数据上稳定提升 GUME/MGCN/MENTOR（论文表7），适合在召回或粗排阶段低成本引入。
- 采用非对称双流设计：视觉特征作为 stable anchor 只走同配相似性图，增强后的文本特征作为 flexible probe 走混合互补边图，可解耦“替代品相似”和“互补品功能关联”两类信号，避免互补边污染视觉表示。电商推荐中可分别维护视觉图和文本图，按模态特性选择传播拓扑。
- 互补信号注入用 per-seed 相对强弱邻居划分 + Soft Conceptor 软子空间投影，提取与替代品子空间正交的残差方向，并施加局部 gap-preserving 约束和归一化后回溯，控制语义漂移。工程实现时，可参考用 SVD 子空间和自适应步长，而非固定全局融合权重。
- LLM 文本预处理（Qwen3-32B-AWQ）仅做证据约束提取，冻结特征，训练/推理不调用 LLM，避免在线成本。但论文显示仅替换 LLM 文本特征收益不一致，真正增益来自几何增强+拓扑传播组合，提示业务中别只靠 LLM 清理文本，需配套图侧设计。
AdaM-Rec：面向多模态推荐的自适应模态路由框架
🧭 多模态推荐 · 自适应模态路由 ★ 深度解读
University of Queensland · Alibaba Group · Southeast University · Adelaide University
AdaM-Rec 用 LLM 智能体通过历史正样本伪查询做代理召回评估，动态路由文本与多模态召回预算
📌 工作参考价值（4 点）
- 对多路召回系统，可以用“历史正样本伪查询”做在线代理评估：为每个 query 生成与当前粒度一致、指向用户已购/点击商品的伪 query，在小候选池上比较文本向量和多模态向量的命中 rank，据此动态分配召回 quota，代替固定融合权重。
- 将 LLM 作为策略控制器输出路由参数（分支权重和总预算），并结合相似用户的历史参数做 warm start；实验显示小预算时聚焦单一优势模态优于均分，可指导长尾流量召回策略。
- 排序前按召回来源做特征裁剪：对文本召回候选过滤视觉属性，减少不相关视觉信号对相关性打分的干扰，尤其适合功能/规格型 query。
- 工程上注意开销：agentic 路由增加推理成本，但可通过轻量文本编码器（如 0.6B）和控制迭代步数来平衡，多模态编码器容量对效果更敏感。
潜在对齐推理用于多模态推荐
🧭 多模态推荐 · VLM 潜在推理与双对齐 ★ 深度解读
Xiaohongshu Inc. · Nanjing University
提出 LARK 两阶段潜在推理框架，用视觉与推理文本双重对齐缓解多模态推荐中的跨模态稀释，在 Amazon 与工业数据集上一致超越 baseline
📌 工作参考价值（4 点）
- 离线 item encoder 部署：用 VLM 对商品图/文离线生成 embedding 并预存向量索引，线上只训练 DeepFM/LightGCN/SASRec 等轻量模型，把多模态推理成本完全移出 serving 路径；该论文在百万级商品上验证了此 decoupled 设计的可扩展性。
- 用 Swing 相似度构造 item-item 对比学习正样本，比随机负样本更符合电商协同信号，能显著提升长尾商品表示；已有 Swing 的电商场景可直接替换为 InfoNCE 的正样本源。
- 若业务需要在 VLM 内做多步推理，可采用 latent tokens + 双对齐：用 frozen vision encoder 做 patch-wise 对齐保留视觉信息，用 stop-gradient CoT hidden states 对齐保留推理语义；掩码图像 50% 可防过拟合像素级细节。
- 超参参考：latent token 总数 16（4 组×4）、损失权重 0.1、对比温度 0.07 在多个数据集稳健；3B 参数 VLM 即可超越 7B NoteLLM-2，说明结构设计比模型规模更关键。
超越模态和谐：正交净化与拓扑引导MoE的冲突感知多模态推荐
🧭 多模态推荐 · 去噪融合
City University of Hong Kong · The Hong Kong Polytechnic University
提出OrthoRec，用协同引导正交净化和拓扑感知MoE解决多模态推荐中的模态-拓扑冲突
📌 工作参考价值（4 点）
- 多模态融合改造成残差净化思路：电商图文/视频常存在标题党、主图诱骗，直接 concat 或 gate 会污染协同信号。可借鉴 CGOP：先用纯协同 embedding 作为锚，把视觉/文本特征投影到平行/正交方向，只保留平行分量并做能量归一化后残差注入，低成本缓解模态噪声。
- 多模态专家融合不用 softmax 门控：TAR-MoE 用解耦 sigmoid 门控替代传统 softmax 注意力，打破“模态之间零和竞争”，每个模态专家可独立决定注入强度。在电商多模态排序/召回模型中可直接替换融合层，避免视觉强、文本弱的 item 被错误压制。
- 对比学习负样本别强行对齐：safe-SSL 对矛盾 pair 动态降低对比损失，适合电商中图像与交互语义不一致的样本。如果业务在多模态对比学习时遇到噪声对，可加入置信度惩罚或自适应温度，而不是全量强制对齐。
- 稀疏 item 鲁棒性有直接价值：实验显示对稀疏 item 的改善，说明该去噪机制在新品/长尾商品多模态建模上可能比复杂跨模态模型更稳。
信息引导的选择性模态-兴趣对齐多模态推荐框架
🧭 多模态推荐 · 兴趣对齐与去噪
Shanghai Jiao Tong University
提出信息论引导的 AMUR 框架，选择性对齐与用户兴趣相关的多模态语义并抑制噪声模态
📌 工作参考价值（4 点）
- 多模态推荐里不要默认全量融合所有模态：业务上可以先利用用户行为信号筛选与兴趣更相关的模态子集，降低视觉/文本噪声对点击率、转化率建模的干扰。
- 借鉴信息论显式约束：用互信息或熵正则替代隐式 attention 加权，让模态-兴趣对齐有明确优化目标；在电商多模态商品塔中可加入兴趣相关性损失，提升冷启动和长尾商品表征。
- 图结构先 refinement 再融合：先用用户行为调整物品多模态图，剪掉弱相关边，再跨模态对齐；对应到商品关系图，能减少无关商品连接带来的 embedding 噪声。
- 保留模态特定互补信息：对齐共享语义时不要完全抹掉模态独有信号，电商场景中文本标题、主图、视频信息有互补性，可设计共享/私有特征分离结构。
MOTIF：动机引导的冷启动多模态推荐拓扑推断
🧭 冷启动多模态推荐 · LLM 语义拓扑重建 ★ 深度解读
Taiyuan University of Technology · Sydney Smart Technology College, Northeastern University, China
用离线 LLM 推理用户与商品动机，重建 item-item 图并做加权对比学习，显著提升冷启动多模态推荐
📌 工作参考价值（4 点）
- LLM 语义只做图重建，不做在线预测输入：业务中可以把 LLM 对商品/内容的功能、场景、人群、替换/互补关系推理离线缓存，转成 item-item 图边权或关系特征，避免 LLM embedding 与协同过滤 embedding 空间不一致带来的噪声，同时不增加在线推理延迟。
- 冷启动用户动机从训练可见历史生成：电商推荐中可用用户短期点击/购买商品的标题、图片、属性离线总结用户动机（如户外训练、礼品购买、家庭活动），作为召回或排序的辅助特征，不泄露测试集。
- 只扰动最后一层表示 + SE 门控的图对比学习：对于不确定性较高的重建边，相比全图扰动更高效、更鲁棒；可迁移到 GNN 召回、商品关系图学习，用 feature-wise gate 自动抑制噪声维度。
- 语义-结构对齐作为辅助损失而非直接拼接：将 LLM 语义向量投影到与图嵌入共享空间做对比对齐，最终主任务只用图嵌入，可解决多模态/文本特征与协同信号不对齐的问题，适合电商冷启动 or 新内容分发。
HyperAgent4POI：动态语义消息传递的多智能体超图缺失模态推荐
🧭 缺失模态补全 · 超图消息传递 · LLM增强推荐 ★ 深度解读
Swinburne University of Technology · Tongji University · Singapore University of Technology and Design
在超图层内用冻结Llama+LoRA联合完成模态补全与软关联细化，有效应对POI多模态缺失
📌 工作参考价值（4 点）
- 缺失模态补全与消息传递层内耦合：电商商品描述、图片常缺失，可借鉴DSMP在每层GNN/超图传递时利用LLM根据当前邻域上下文动态补全，使用冻结主干+LoRA适配器，既避免重训大模型又比一次补全更准确。
- 软关联学习控制拓扑漂移：推荐图中交互边常有噪声，DSMP通过有界候选池（固定K_ret）、软关联分数和保守KL正则，允许层内拓扑可微调整。可迁移到物品共现或查询-文档超图，用阈值筛选控制图规模，提升高阶关系挖掘的鲁棒性。
- 离线LLM语义增强，在线无LLM延迟：角色提示词和LoRA操作仅在训练/离线刷新时运行，最终节点表示缓存用于点积排序，线上不调用LLM。在搜索推荐系统中，可离线用LLM丰富商品或用户表征，在线直接检索缓存向量，兼顾效果与性能。
- 可插拔角色适配器与消息接口：聚合、拓扑、补全等语义操作使用同一冻干主干但各自独立的LoRA，模式高度复用。在商品属性补全、用户兴趣演化等任务，可定义不同提示模板和LoRA适配器，保持主干参数冻结，大幅减少训练参数量，适合多任务和轻量化部署。
校准模态补全的不完整多模态推荐方法
🧭 多模态推荐 · 模态补全校准
Southern University of Science and Technology · National University of Singapore · Singapore Management University
通过两阶段校准框架解决模态缺失导致的跨模态结构失真与偏好适应差距，提升多模态推荐鲁棒性
📌 工作参考价值（4 点）
- 模态补全时引入跨模态结构一致性约束，避免补全后多模态特征割裂，可通过对比损失或结构保持正则实现。
- 偏好导向表征校准：构造伪缺失样本，将补全表征与经排序监督训练好的完整模态表征对齐，使补全特征直接适配推荐排序任务。
- 构建补全感知的物品关系图，同时融合补全后的多模态内容相似性与用户行为协同信号，提升图推荐模型在模态缺失场景下的表现。
- 两阶段设计：先做与推荐任务无关的结构校准，再做偏好微调，方便工程上逐步开发和部署，降低在线开销。
一图多益：构建单一高质量item-item图用于多模态推荐
🧭 多模态推荐 · item-item图复用
The University of Hong Kong · The Hong Kong Polytechnic University · The Hong Kong University of Science and Technology
预处理构建高质量item-item图，在表征增强、交互图增强和优化增强三阶段复用以全面提升推荐性能
📌 工作参考价值（4 点）
- 图构建方法可迁移：融合语义和共现信号，并通过三元闭合的NCER重加权边，能显著降噪。直接用于电商商品相似图构建，提升GNN召回或排序特征的质量，尤其适合多模态商品库。
- 残差门控机制RIG：自适应控制每个物品从近邻吸收多少信息，避免噪声平滑。可嵌入任何Graph SAE或注意力层，作为表征增强的插件，缓解过度平滑。
- 交互图增强解决冷启动：通过高置信度语义邻居创建虚拟user-item边，间接扩展交互图，对冷启动物品和长尾商品有明显增益。实现轻量，只需在线查表，适合大规模推荐系统。
- 优化增强INA：将正样本的top邻居作为折扣软正样本加入BPR，类似难例挖掘但更稳定。可直接应用于排序训练的目标函数，提升模型对相似商品的区分度，降低假阳性。
观察与反思：多模态记忆增强的智能体协同推荐
🧭 多模态记忆增强的智能体协同推荐 ★ 深度解读
Tsinghua University · University of Science and Technology of China · Peking University · The University of New South Wales · Macquarie University
提出双轨多模态记忆增强智能体协同框架，融合推理与稠密匹配，在视觉密集型推荐上大幅领先
📌 工作参考价值（4 点）
- 双轨解耦推荐：将 LLM agent 的推理排序与多模态稠密匹配分为两个独立 track，通过加权 RRF 融合。电商推荐系统中，可借鉴将基于 agent 的可解释推理结果与基于视觉/文本的稠密检索结果进行加权融合，兼顾可解释性与精度。
- 属性引导的记忆演化：预定义语义属性空间，利用 LLM 抽取关键属性来指导记忆的强化或反思，有效减少噪声和偏好漂移。在用户画像管理模块，可以设计类似机制，用结构化属性来控制画像更新，避免自由反思带来的冗余。
- 多模态记忆初始化：从商品图片生成视觉描述并与标题融合，构建多模态 item memory。可直接用于视觉敏感场景（时尚、电子产品）的 item 表征，或为多模态检索增强生成提供素材。
- 推理与匹配的记忆分离：推理 track 保留压缩后的结构化记忆，匹配 track 保留原始交互叙述和图片用于稠密检索，既保持 agent 推理效率，又不丢失细粒度多模态信号。可迁移到需要实时更新用户向量的召回-排序联合设计。
大规模多模态推荐的URecJPQ：联合乘积量化实现内存高效模型
🧭 多模态推荐模型压缩 · 联合乘积量化
University of Bari Aldo Moro · University of Glasgow · Spotify
用联合乘积量化将用户/物品ID与多模态特征压缩为共享子嵌入拼接，在参数量减少98%+的同时保持推荐精度
📌 工作参考价值（4 点）
- 在电商/广告等大规模多模态推荐场景，可直接采用 联合乘积量化（JPQ） 替换全量 ID 嵌入表：为每个 user/item 分配多组码本中的码字索引，拼接得到嵌入向量，将参数量压缩 98%–99%，大幅降低 GPU 显存占用和检查点大小。
- 多模态侧，可将预训练的模态特征（文本、图像等）也纳入量化框架，例如对模态编码器输出做分桶或学习离散码本，避免存储每个 item 的完整 dense 向量，特别适合物品库频繁更新的广告系统。
- 实验发现，在婴童产品等某些品类上，量化后模型 Recall 反而提升 85%，暗示嵌入压缩带来的正则化效应能缓解稀疏数据下的过拟合，可尝试在 cold-start 或长尾 item 上刻意使用更高压缩比。
- 工程落地几乎零成本：URecJPQ 仅修改嵌入查找层，不改变模型主干架构，可以直接嫁接到现有双塔、DIN 等模型上，快速上线测试。
行为引导的候选校准用于多模态推荐
🧭 多模态推荐 · 行为引导候选校准 ★ 深度解读
University of the Chinese Academy of Sciences
提出BRIDGE框架，用频谱解耦保持表征多样性，并以行为证据仅在候选集内校准排序残差，避免全局校正破坏推荐特异性。
📌 工作参考价值（4 点）
- 频率解耦表征设计：将多模态嵌入做SVD分解，低频作为共享结构，高频保留判别信息，可迁移到生成式推荐中的语义ID编码或特征分离，避免强对齐损害排序特异性。
- 行为证据局部校准：利用训练集共现行为构建行为图，生成带符号的归一化行为证据，仅对排序短列表中的候选物品施加残差校正，可部署于两阶段推荐系统的精排模块，作为低成本后处理组件。
- 候选感知训练策略：训练时同样使用基于停止梯度的top-K候选集范围掩码，确保残差分支在训练与推理时作用域一致，避免离线训练与在线评估的分布差异，可以直接复用到现有排序模型。
- 行为图构建与归一化技巧：仅用训练交互构建行为图（物品共现度），并采用z-score归一化得到可正可负的校准信号，既保留共现支持又允许局部降权，适用于存在流行度偏差的电商场景。